TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks
TerminalWorld：从终端录屏自动生成真实任务评估基准
🧭 面向终端 Agent 的可扩展评估基准
University College London · Nanjing University · Tencent
通过逆向工程 8 万终端录屏，构建可扩展的真实终端任务基准，揭示现有 Agent 最高仅 62.5% 通过率。
📌 工作参考价值（4 点）
- 从真实录屏构建评估数据引擎的范式可复用：在电商场景中（如 CLS 日志、运维操作记录、推荐流程重放），可逆向生成高保真的 Agent 评估任务，避免人工设计的主观性和偏差。
- 多步工作流评估揭示真实能力短板：基准包含超 50 步的任务，类似电商订单处理、多系统查询的复杂流程，可用于测试 Agent 在长程依赖、错误恢复上的表现。
- 弱相关验证现有基准的局限：与 Terminal-Bench 仅 0.20 相关性提示自建基准可能更贴近线上真实分布，在评估生成式推荐或 Agent 时，应考虑从生产数据采样而非完全依赖通用榜单。
- 自动化质量保证思路：采用环境重建、输出校验与人工验证的混合流程，可借鉴到推荐系统的离线回测范式，提升对生成结果的可靠性评估。